Sau việc dẹp loạn Lê Văn Khôi tại Nam Kỳ, vua Minh Mạng cho lập một cơ quan đặc trách để tham khảo về những vấn đề trọng mật, nhất là về mặt quân sự. Nhà vua theo mẫu Khu mật viện của nhà Tống và Quân cơ xứ của nhà Thanh để lập ra Cơ mật viện.

Cơ quan này do bốn đại thần điều hành, tương tự như Nội các nhưng các vị đại thần viện Cơ mật thuộc trật Chánh tam phẩm trở lên và giữ các chức vụ khác nữa. Quan Cơ mật thường mang danh hiệu Đại học sĩ của các điện Đông Các, Văn Minh, Võ Hiển và Cần Chánh.

Cơ mật viện được chia làm hai ty là Bắc ty và Nam ty. Thuộc quan là các quan có hàm Hàn lâm viện ở Lục bộ sung hàm Hành tẩu.

Ty Nam phụ trách các việc từ Quảng Bình trở vào, Ty Bắc phụ trách các việc từ Hà Tĩnh ra. Mỗi ty có 1 viên Ngoại lang, trật Chánh ngũ phẩm, 1 Chủ sự trật Chánh lục phẩm, 2 Tư vụ hoặc Biên tu, trật Chánh thất phẩm và Kiểm thảo, trật Tòng thất phẩm.[1]

Cơ mật viện dùng loại ấn là Ấn, với tên là Cơ mật viện chi ấn (機密院之印).

Sang thời Pháp thuộc triều Thành Thái thì Thượng thư Lục bộ tham gia vào Viện Cơ mật và viên Khâm sứ Trung Kỳ người Pháp đứng chủ toạ. Thời vua Duy Tân đổi thành phủ Phụ chính.